# -*- codeing = utf-8 -*-
# @Time : 2020/7/31 10:33
# @Author : haos
# @File : sss.py
# @Software : PyCharm
import re

import spider as sp
def main():
    # client = sp.get_client()["linkInf"]
    # 未抓取链接的数据
    sp.get_info_by_link({'title': re.compile('年进出口商品收发货人所在地总值表'), 'valid': 1, 'currency': '美元'}, 3)
    # for link in client.find({'title': re.compile('年进出口商品收发货人所在地总值表'), 'valid': 1, 'currency': '美元'}).batch_size(3):
    #     print(link)
    #     # print(len(find))
    #     # 保存到excel
    #     sp.export_excel(link)

        # 修改已抓取数据的状态
        # client.find_one_and_update(link, {'$set': {'exist': 1}})

main()